Cha của Hai Miên, Huỳnh Công Miên là Lãnh Binh Tấn tức Huỳnh Công Tấn, là một cộng sự đắc lực của thực dân Pháp trong việc đàn áp các cuộc khởi nghĩa của nông dân vào những năm gần cuối thế kỷ 19 tại Nam Kỳ, Việt Nam. ông này là người thôn An Long (Yên luông nhị thôn), huyện Tân Hòa[9] (Gò Công), trước thuộc tỉnh Định Tường, nay thuộc tỉnh Tiền Giang. Năm 1874, Sau khi Huỳnh Tấn mất, Chủ tỉnh Pháp là E. Puech (1873 - 1874) cho xây dựng "đài ghi công" ông tại tỉnh Gò Công (nay là thị xã Gò Công). Trên đó có khắc dòng chữ: "À la mémoire du Lanh binh Huynh Cong Tan, chevalier de la Légion d'honneur, tidèle serviteur de France". Nghĩa là: "Kỷ niệm Huỳnh Công Tấn, Bắc Đẩu Bội tinh, công bộc trung thành của nước Pháp". Năm 1945, đài này bị người dân đập phá hoàn toàn[10].

Cha mẹ của Hai Miên có năm người con: Hai Miên là con trai thứ hai, con trai út là Huỳnh Công Viễn, ông bà có ba người con gái giữa, trong đó hai người con gái là nữ tu của đạo Công giáo và một người chết khi còn nhỏ.

Vợ của ông Hai Miên là bà Lê Thị Túy. Bà Tuý là em gái quan cai tổng Lê Quang Chiểu (người Phong Điền, Cần Thơ), một tiểu thư khuê các, văn hay chữ tốt, nhà ở vùng Tân Hòa, nay là khu vực phường Cầu Kho và phường Nguyễn Cư Trinh (quận 1, Tp.HCM)[3].